Amazon Kinesis Firehoseが東京リージョンで利用可能になりました
はじめに
AWSチームのすずきです。
Amazon Kinesis Firehose、受け取ったストリームデータをAmazon S3などへの保存を実現する マネージドサービスが、本日(2017/8/25)AWS東京リージョンで利用可能になりましたので紹介させて頂きます。
設定
Firehoseコンソール
- AWSコンソールのAmazon Kinesisの画面より「Firehose」コンソールを開きます。
- 東京リージョンでのFirehoseが利用可能となっています。
ストリームの作成
名前とソース設定
- Firehoseのストリーム、任意の名称を付与して作成します。
- 今回は直接Firehoseにデータ投入する指定をおこないました。
- 「Kinesis streams」連携もサポートされています。
Lambda連携
- Firehoseと、事前に設置したLambda関数との連携設定が可能です
出力先
- S3を出力先として設定しました
- 東京リージョンのFirehoseでは、2017年8月現在、S3、Redshift、Elasticsearch Service との連携が可能です。
Firehose動作設定
- Firehose のバッファリングや、利用するIAMの設定などを実施します。
- データ出力先となるS3費用の削減のため、GZIP圧縮を指定しました。
設定確認、作成
- 設定内容を確認しFirehoseストリームを作成します。
- S3へのデータ出力を行うFirehoseは1分程度でステータスは「ACTIVE」となり利用可能になります。
動作確認
テストデータの投入
- 作成したFirehoseストリームの動作確認のため、AWSコンソールで提供されているテストデータの投入機能を利用しました。
S3への出力確認
- 指定したS3バケット以下にFirehoseに投入したデータを含むファイルが生成されました。
- S3のメタ設定により、S3からのダウンロードをブラウザで実施する場合、GZIP圧縮が解除される場合がありますのでご留意下さい。
- S3のファイル確認には、CLIの利用がお薦めです。
まとめ
Amazon Kinesis Firehose、 取り込まれたデータ1GB あたり 0.036$の従量課金のみで利用できます。
強力なバッファリング機能を備えたFirehose、東京リージョンでもぜひご活用下さい。
